package com.chance.cc.crawler.development.bootstrap.kr36;

import com.chance.cc.crawler.core.CrawlerEnum;
import com.chance.cc.crawler.core.filter.FilterUtils;
import com.chance.cc.crawler.core.record.CrawlerRequestRecord;
import com.chance.cc.crawler.development.controller.DevCrawlerController;

public class Kr36Bootstrap {
    public static final String domain = "36kr";
    public static final String site = "information";

    public static void main(String[] args) {



        CrawlerRequestRecord requestRecord = CrawlerRequestRecord.builder()
                .startPageRequest(domain, CrawlerEnum.CrawlerRequestType.turnPage) //turnpage 翻页
                .domain(domain)
                .httpUrl("https://36kr.com/")
                .recordKey("https://36kr.com/")//表示的是唯一，放第二次就不行了
                .releaseTime(System.currentTimeMillis())
                .filter(CrawlerEnum.CrawlerRecordFilter.dateRange)  //过滤条件
                 //30分钟  前面的时间是开始时间，后面的是时间是结束时间   注意脚本里面的时间
                .addFilterInfo(FilterUtils.dateRangeFilterInfo(1, null))
                .build();


        requestRecord.tagsCreator().bizTags().addDomain(domain);
        requestRecord.tagsCreator().bizTags().addSite(site);

        DevCrawlerController.builder()
                .triggerInfo(domain, domain, System.currentTimeMillis(), domain)
                .crawlerRequestQueue(DevCrawlerController.devRequestQueue(domain))  //管道
                .consoleResultPipeline() //控制台输出
                .fileResultPipeline("D:\\chance\\log\\test2.log", false) //文件输出
                .requestRecord(requestRecord)
                .build("com.chance.cc.crawler.development.scripts.kr36")
                .start();
    }
}
